Rubric-to-Code Credit Assignment for Reinforcement Learning
面向交互式网页生成的 Rubric-to-Code 奖励归因强化学习
🧭 强化学习细粒度信用分配
Inclusion AI, Ant Group · Zhongnan University
将 rubric 级功能反馈转化为局部代码优化信号，替代 GRPO 的序列级统一 advantage，显著提升交互式网页生成成绩
📌 工作参考价值（4 点）
- 对电商详情页、活动页、推荐卡片等多组件生成任务，可用 rubric 并让评估器输出「哪个 span/组件负责该问题」的文本归因，再把归因对齐到 token/组件级 advantage，替代 GRPO 的全局 uniform advantage，提升 RL 训练信号粒度。
- 工程上构建分层 reward：先分离格式、语法、运行时、功能目标，避免不可执行样本污染功能学习；在广告创意/推荐文案生成中可拆成合规、语法、核心卖点、转化目标等层级。
- 若已有描述性评估（如 rubric 写明某功能缺失原因），不要只取总分；可把解析出的 DOM 片段、状态更新、事件处理等代码块与 rubric 关联，做细粒度 credit assignment，提高样本效率。
- 该方法依赖可执行/可静态分析的代码结构；在推荐/广告生成文案或 item 序列时，可替换为标题、卖点、CTA、图片选择等结构化组件，并做组件级归因。